Charlotte FitzRoy sinh vào ngày 5 tháng 9 năm 1664,[1] là người con thứ tư và con gái thứ hai của Barbara Palmer, Bá tước phu nhân xứ Castlemaine, người con duy nhất của chỉ huy phe Bảo hoàng William Villiers, Tử tước Grandison thứ 2. Charlotte được giao cho một phó mẫu ở Dinh Berkshire chăm sóc.[1]

Mẹ của Charlotte đã ly thân với chồng là Roger Palmer, Bá tước thứ 1 xứ Castlemaine, nhưng vẫn duy trì quan hệ hôn nhân với Roger Palmer. Castlemaine không có bất kỳ đứa con nào với vợ; trên thực tế, Charlotte và các anh chị em đều là con ngoại hôn của Bà Bá tước với Quốc vương Charles II. Charles II thừa nhận con gái và ban cho Charlotte họ FitzRoy - tức là "con của Quốc vương".

Người viết nhật ký Samuel Pepys ghi nhận rằng Charlotte có thể sẽ có triển vọng hôn nhân tốt: "Phu nhân Castlemayne [Barbara Villiers] của tôi sẽ vui vẻ nói rằng con gái của bà (không quá một hoặc hai tuổi) sẽ là thiếu nữ đầu tiên trong Triều đình sẽ kết hôn…”[2]

Charlotte là người cháu gái yêu thích của James, Công tước xứ York, em trai của Charles II, người sau này trị vì nước Anh với trị hiệu là James II. Nhà sử học John Heneage Jesse đã viết về Charlotte FitzRoy như sau: "Chúng ta biết rất ít về Charlotte ngoại trừ việc cô ấy xinh đẹp." [lower-alpha 1] [3] Khi còn nhỏ, Charlotte đã được vẽ bởi họa sĩ cung đình Peter Lely, Họa sĩ chính Thường trực của Charles II, trong đó Công nương ngồi cùng với một nam hầu cận người Ấn Độ, tay cầm một chùm nho và mặc trang phục lụa màu hồng. Ngày nay, bức tranh được treo ở Triển lãm Nghệ thuật York.

Nhà sử học nghệ thuật Anna Brownell Jameson đã mô tả Charlotte FitzRoy là người "có sắc đẹp sánh ngang với mẹ, nhưng lại không giống mẹ ở mọi khía cạnh còn lại." [lower-alpha 2] [4]

Có vẻ như Charles II là một người cha đầy yêu thương đối với Charlotte. Năm 1682, Quốc vương đã viết cho con gái rằng: "Cha phải nói với con rằng cha rất vui khi biết con đã mang thai, và cha hy vọng được gặp con sớm, để cha có thể cảm thấy hạnh phúc khi nói với con rằng cha thương con đến nhường nào, và là cha tốt của bon, Charles Quốc vương".[lower-alpha 3][5]